<!DOCTYPE html><html class="hide-aside" lang="zh-CN" data-theme="light"><head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no"><title>深度克里金法（DeepKriging） | 西山晴雪的知识笔记</title><meta name="keywords" content="深度学习,空间统计"><meta name="author" content="西山晴雪"><meta name="copyright" content="西山晴雪"><meta name="format-detection" content="telephone=no"><meta name="theme-color" content="#ffffff"><meta name="description" content="深度克里金法（DeepKriging）">
<meta property="og:type" content="article">
<meta property="og:title" content="深度克里金法（DeepKriging）">
<meta property="og:url" content="http://xishansnow.github.io/posts/3a9f5e9d.html">
<meta property="og:site_name" content="西山晴雪的知识笔记">
<meta property="og:description" content="深度克里金法（DeepKriging）">
<meta property="og:locale" content="zh_CN">
<meta property="og:image" content="http://xishansnow.github.io/img/book_06.png">
<meta property="article:published_time" content="2023-01-11T02:00:00.000Z">
<meta property="article:modified_time" content="2023-02-08T15:07:23.235Z">
<meta property="article:author" content="西山晴雪">
<meta property="article:tag" content="深度学习">
<meta property="article:tag" content="空间统计">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="http://xishansnow.github.io/img/book_06.png"><link rel="shortcut icon" href="/img/favi.jpg"><link rel="canonical" href="http://xishansnow.github.io/posts/3a9f5e9d"><link rel="preconnect" href="//cdn.jsdelivr.net"/><link rel="stylesheet" href="/css/index.css"><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/@fortawesome/fontawesome-free/css/all.min.css" media="print" onload="this.media='all'"><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/@fancyapps/ui/dist/fancybox.min.css" media="print" onload="this.media='all'"><script>const GLOBAL_CONFIG = { 
  root: '/',
  algolia: {"appId":"12DC1Q07CH","apiKey":"7e4ac2a644127298a8a2e8170335afdb","indexName":"xishansnowblog","hits":{"per_page":6},"languages":{"input_placeholder":"搜索文章","hits_empty":"找不到您查询的内容：${query}","hits_stats":"找到 ${hits} 条结果，用时 ${time} 毫秒"}},
  localSearch: undefined,
  translate: {"defaultEncoding":2,"translateDelay":0,"msgToTraditionalChinese":"繁","msgToSimplifiedChinese":"簡"},
  noticeOutdate: undefined,
  highlight: {"plugin":"highlighjs","highlightCopy":true,"highlightLang":true,"highlightHeightLimit":200},
  copy: {
    success: '复制成功',
    error: '复制错误',
    noSupport: '浏览器不支持'
  },
  relativeDate: {
    homepage: false,
    post: false
  },
  runtime: '',
  date_suffix: {
    just: '刚刚',
    min: '分钟前',
    hour: '小时前',
    day: '天前',
    month: '个月前'
  },
  copyright: undefined,
  lightbox: 'fancybox',
  Snackbar: undefined,
  source: {
    justifiedGallery: {
      js: 'https://cdn.jsdelivr.net/npm/flickr-justified-gallery/dist/fjGallery.min.js',
      css: 'https://cdn.jsdelivr.net/npm/flickr-justified-gallery/dist/fjGallery.min.css'
    }
  },
  isPhotoFigcaption: false,
  islazyload: false,
  isAnchor: false
}</script><script id="config-diff">var GLOBAL_CONFIG_SITE = {
  title: '深度克里金法（DeepKriging）',
  isPost: true,
  isHome: false,
  isHighlightShrink: false,
  isToc: true,
  postUpdate: '2023-02-08 23:07:23'
}</script><noscript><style type="text/css">
  #nav {
    opacity: 1
  }
  .justified-gallery img {
    opacity: 1
  }

  #recent-posts time,
  #post-meta time {
    display: inline !important
  }
</style></noscript><script>(win=>{
    win.saveToLocal = {
      set: function setWithExpiry(key, value, ttl) {
        if (ttl === 0) return
        const now = new Date()
        const expiryDay = ttl * 86400000
        const item = {
          value: value,
          expiry: now.getTime() + expiryDay,
        }
        localStorage.setItem(key, JSON.stringify(item))
      },

      get: function getWithExpiry(key) {
        const itemStr = localStorage.getItem(key)

        if (!itemStr) {
          return undefined
        }
        const item = JSON.parse(itemStr)
        const now = new Date()

        if (now.getTime() > item.expiry) {
          localStorage.removeItem(key)
          return undefined
        }
        return item.value
      }
    }
  
    win.getScript = url => new Promise((resolve, reject) => {
      const script = document.createElement('script')
      script.src = url
      script.async = true
      script.onerror = reject
      script.onload = script.onreadystatechange = function() {
        const loadState = this.readyState
        if (loadState && loadState !== 'loaded' && loadState !== 'complete') return
        script.onload = script.onreadystatechange = null
        resolve()
      }
      document.head.appendChild(script)
    })
  
      win.activateDarkMode = function () {
        document.documentElement.setAttribute('data-theme', 'dark')
        if (document.querySelector('meta[name="theme-color"]') !== null) {
          document.querySelector('meta[name="theme-color"]').setAttribute('content', '#0d0d0d')
        }
      }
      win.activateLightMode = function () {
        document.documentElement.setAttribute('data-theme', 'light')
        if (document.querySelector('meta[name="theme-color"]') !== null) {
          document.querySelector('meta[name="theme-color"]').setAttribute('content', '#ffffff')
        }
      }
      const t = saveToLocal.get('theme')
    
          if (t === 'dark') activateDarkMode()
          else if (t === 'light') activateLightMode()
        
      const asideStatus = saveToLocal.get('aside-status')
      if (asideStatus !== undefined) {
        if (asideStatus === 'hide') {
          document.documentElement.classList.add('hide-aside')
        } else {
          document.documentElement.classList.remove('hide-aside')
        }
      }
    
    const detectApple = () => {
      if(/iPad|iPhone|iPod|Macintosh/.test(navigator.userAgent)){
        document.documentElement.classList.add('apple')
      }
    }
    detectApple()
    })(window)</script><link rel="stylesheet" href="/css/custom.css"><script defer src="https://cdn.jsdelivr.net/npm/katex@0.16.3/dist/contrib/auto-render.min.js" integrity="sha384-+VBxd3r6XgURycqtZ117nYw44OOcIax56Z4dCRWbxyPt0Koah1uHoK0o4+/RRE05" crossorigin="anonymous" onload="renderMathInElement(document.body);"></script><meta name="generator" content="Hexo 5.4.2"></head><body><div id="loading-box"><div class="loading-left-bg"></div><div class="loading-right-bg"></div><div class="spinner-box"><div class="configure-border-1"><div class="configure-core"></div></div><div class="configure-border-2"><div class="configure-core"></div></div><div class="loading-word">加载中...</div></div></div><div id="sidebar"><div id="menu-mask"></div><div id="sidebar-menus"><div class="avatar-img is-center"><img src="/img/favi.jpg" onerror="onerror=null;src='/img/friend_404.gif'" alt="avatar"/></div><div class="sidebar-site-data site-data is-center"><a href="/archives/"><div class="headline">文章</div><div class="length-num">306</div></a><a href="/tags/"><div class="headline">标签</div><div class="length-num">390</div></a><a href="/categories/"><div class="headline">分类</div><div class="length-num">89</div></a></div><hr/><div class="menus_items"><div class="menus_item"><a class="site-page" href="/"><i class="fa-fw fas fa-home"></i><span> 主页</span></a></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-atom"></i><span> 预测</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E5%B9%BF%E4%B9%89%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-atom"></i><span> 广义线性模型</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E9%9D%9E%E5%8F%82%E6%95%B0%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-cogs"></i><span> 传统非参数模型</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B/"><i class="fa-fw fas fa-school"></i><span> 高斯过程</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fas fa-layer-group"></i><span> 神经网络</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9%E4%B8%8E%E5%B9%B3%E5%9D%87/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 模型选择与平均</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E5%B0%8F%E6%A0%B7%E6%9C%AC%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-solid fa-globe"></i><span> 小样本学习</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-file-export"></i><span> 生成</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E4%BC%A0%E7%BB%9F%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 传统概率图模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E7%8E%BB%E5%B0%94%E5%85%B9%E6%9B%BC%E6%9C%BA/"><i class="fa-fw fa-solid fa-deezer"></i><span> 玻耳兹曼机</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 变分自编码器</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E8%87%AA%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 自回归模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E5%BD%92%E4%B8%80%E5%8C%96%E6%B5%81/"><i class="fa-fw fa-solid fa-cube"></i><span> 归一化流</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E6%89%A9%E6%95%A3%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-ghost"></i><span> 扩散模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E8%83%BD%E9%87%8F%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 能量模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E7%94%9F%E6%88%90%E5%BC%8F%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-solid fa-globe"></i><span> 生成式对抗网络</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-magnet"></i><span> 挖掘</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%9A%90%E5%9B%A0%E5%AD%90%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 隐因子模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E7%8A%B6%E6%80%81%E7%A9%BA%E9%97%B4%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-deezer"></i><span> 状态空间模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E6%A6%82%E7%8E%87%E5%9B%BE%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 概率图学习</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%9D%9E%E5%8F%82%E6%95%B0%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 非参数贝叶斯模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E8%A1%A8%E7%A4%BA%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-solid fa-cube"></i><span> 表示学习</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/"><i class="fa-fw fa-solid fa-ghost"></i><span> 可解释性</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%99%8D%E7%BB%B4/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 降维</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E8%81%9A%E7%B1%BB/"><i class="fa-fw fa-solid fa-cogs"></i><span> 聚类</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-compass"></i><span> 贝叶斯</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 概率图模型</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%92%99%E7%89%B9%E5%8D%A1%E6%B4%9B%E6%8E%A8%E6%96%AD/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 蒙特卡罗推断</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E5%8F%98%E5%88%86%E6%8E%A8%E6%96%AD/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 变分推断</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%BF%91%E4%BC%BC%E8%B4%9D%E5%8F%B6%E6%96%AF%E8%AE%A1%E7%AE%97/"><i class="fa-fw fa-solid fa-cube"></i><span> 近似贝叶斯计算</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A8%A1%E5%9E%8B%E6%AF%94%E8%BE%83%E4%B8%8E%E9%80%89%E6%8B%A9/"><i class="fa-fw fa-solid fa-ghost"></i><span> 模型比较与选择</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%B4%9D%E5%8F%B6%E6%96%AF%E4%BC%98%E5%8C%96/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 贝叶斯优化</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-ghost"></i><span> 不确定性DL</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/BayesNN/%E6%A6%82%E8%A7%88"><i class="fa-fw fa-solid fa-cube"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E5%8D%95%E4%B8%80%E7%A1%AE%E5%AE%9A%E6%80%A7%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 单一确定性神经网络</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-brands fa-deezer"></i><span> 贝叶斯神经网络</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E6%B7%B1%E5%BA%A6%E9%9B%86%E6%88%90/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 深度集成</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E6%95%B0%E6%8D%AE%E5%A2%9E%E5%BC%BA/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 数据增强</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E5%AF%B9%E6%AF%94%E4%B8%8E%E8%AF%84%E6%B5%8B/"><i class="fa-fw fa-brands fa-deezer"></i><span> 对比与评测</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-map"></i><span> 空间统计</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/GeoAI/%E7%BB%BC%E8%BF%B0%E7%B1%BB/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%82%B9%E5%8F%82%E8%80%83%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-solid fa-map"></i><span> 点参考数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E9%9D%A2%E5%85%83%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 面元数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%82%B9%E6%A8%A1%E5%BC%8F%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 点模式数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%96%B9%E6%B3%95/"><i class="fa-fw fa-solid fa-cube"></i><span> 空间贝叶斯方法</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E5%8F%98%E7%B3%BB%E6%95%B0%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-ghost"></i><span> 空间变系数模型</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E7%BB%9F%E8%AE%A1%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-brands fa-deezer"></i><span> 空间统计深度学习</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E6%97%B6%E7%A9%BA%E7%BB%9F%E8%AE%A1%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-atlas"></i><span> 时空统计模型</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%B8%93%E9%A2%98/"><i class="fa-fw fa fa-anchor"></i><span> 大数据专题</span></a></li><li><a class="site-page child" href="/categories/GeoAI/GeoAI/"><i class="fa-fw fa-brands fa-codepen"></i><span> GeoAI</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-database"></i><span> 基础</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E9%AB%98%E7%AD%89%E6%95%B0%E5%AD%A6/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 高等数学</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E6%A6%82%E7%8E%87%E4%B8%8E%E7%BB%9F%E8%AE%A1/"><i class="fa-fw fa-brands fa-deezer"></i><span> 概率与统计</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E7%BA%BF%E4%BB%A3%E4%B8%8E%E7%9F%A9%E9%98%B5%E8%AE%BA/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 线代与矩阵论</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E6%9C%80%E4%BC%98%E5%8C%96%E7%90%86%E8%AE%BA/"><i class="fa-fw fa-brands fa-codepen"></i><span> 最优化理论</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E4%BF%A1%E6%81%AF%E8%AE%BA/"><i class="fa-fw fa-solid fa-cube"></i><span> 信息论</span></a></li><li><a class="site-page child" href="/categories/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-ghost"></i><span> 机器学习</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1/"><i class="fa-fw fa-solid fa-globe"></i><span> 知识图谱</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 自然语言处理</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E7%8E%87%E7%BC%96%E7%A8%8B/"><i class="fa-fw fas  fa-atlas"></i><span> 概率编程</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-book-open"></i><span> 书籍</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="https://xishansnow.github.io/BayesianAnalysiswithPython2nd/index.html"><i class="fa-fw fa-solid  fa-landmark-dome"></i><span> 《Bayesian Analysis with Python》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/BayesianModelingandComputationInPython/index.html"><i class="fa-fw fa-solid  fa-graduation-cap"></i><span> 《Bayesian Modeling and Computation in Python》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/ElementsOfStatisticalLearning/index.html"><i class="fa-fw fa-solid  fa-book-atlas"></i><span> 《统计学习精要（ESL）》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/spatialSTAT_CN/index.html"><i class="fa-fw fa-solid  fa-layer-group"></i><span> 《空间统计学》</span></a></li><li><a class="site-page child" target="_blank" rel="noopener" href="https://otexts.com/fppcn/index.html"><i class="fa-fw fa-solid  fa-cloud-sun-rain"></i><span> 《预测：方法与实践》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/MLAPP/index.html"><i class="fa-fw fa-solid  fa-robot"></i><span> 《机器学习的概率视角（MLAPP）》</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-compass"></i><span> 索引</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/archives/"><i class="fa-fw fa-solid fa-timeline"></i><span> 时间索引</span></a></li><li><a class="site-page child" href="/tags/"><i class="fa-fw fas fa-tags"></i><span> 标签索引</span></a></li><li><a class="site-page child" href="/categories/"><i class="fa-fw fas fa-folder-open"></i><span> 分类索引</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-link"></i><span> 其他</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/link/food/"><i class="fa-fw fas fa-utensils"></i><span> 美食博主</span></a></li><li><a class="site-page child" href="/link/photography"><i class="fa-fw fas fa-camera"></i><span> 摄影大神</span></a></li><li><a class="site-page child" href="/link/paper/"><i class="fa-fw fas fa-book-open"></i><span> 学术工具</span></a></li><li><a class="site-page child" href="/gallery/"><i class="fa-fw fas fa-images"></i><span> 摄影作品</span></a></li><li><a class="site-page child" href="/about/"><i class="fa-fw fas fa-heart"></i><span> 关于</span></a></li></ul></div></div></div></div><div class="post" id="body-wrap"><header class="post-bg" id="page-header" style="background-image: url('/img/book_06.png')"><nav id="nav"><span id="blog_name"><a id="site-name" href="/">西山晴雪的知识笔记</a></span><div id="menus"><div id="search-button"><a class="site-page social-icon search"><i class="fas fa-search fa-fw"></i><span> 搜索</span></a></div><div class="menus_items"><div class="menus_item"><a class="site-page" href="/"><i class="fa-fw fas fa-home"></i><span> 主页</span></a></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-atom"></i><span> 预测</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E5%B9%BF%E4%B9%89%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-atom"></i><span> 广义线性模型</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E9%9D%9E%E5%8F%82%E6%95%B0%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-cogs"></i><span> 传统非参数模型</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B/"><i class="fa-fw fas fa-school"></i><span> 高斯过程</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fas fa-layer-group"></i><span> 神经网络</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9%E4%B8%8E%E5%B9%B3%E5%9D%87/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 模型选择与平均</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E5%B0%8F%E6%A0%B7%E6%9C%AC%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-solid fa-globe"></i><span> 小样本学习</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-file-export"></i><span> 生成</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E4%BC%A0%E7%BB%9F%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 传统概率图模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E7%8E%BB%E5%B0%94%E5%85%B9%E6%9B%BC%E6%9C%BA/"><i class="fa-fw fa-solid fa-deezer"></i><span> 玻耳兹曼机</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 变分自编码器</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E8%87%AA%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 自回归模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E5%BD%92%E4%B8%80%E5%8C%96%E6%B5%81/"><i class="fa-fw fa-solid fa-cube"></i><span> 归一化流</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E6%89%A9%E6%95%A3%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-ghost"></i><span> 扩散模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E8%83%BD%E9%87%8F%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 能量模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E7%94%9F%E6%88%90%E5%BC%8F%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-solid fa-globe"></i><span> 生成式对抗网络</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-magnet"></i><span> 挖掘</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%9A%90%E5%9B%A0%E5%AD%90%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 隐因子模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E7%8A%B6%E6%80%81%E7%A9%BA%E9%97%B4%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-deezer"></i><span> 状态空间模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E6%A6%82%E7%8E%87%E5%9B%BE%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 概率图学习</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%9D%9E%E5%8F%82%E6%95%B0%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 非参数贝叶斯模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E8%A1%A8%E7%A4%BA%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-solid fa-cube"></i><span> 表示学习</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/"><i class="fa-fw fa-solid fa-ghost"></i><span> 可解释性</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%99%8D%E7%BB%B4/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 降维</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E8%81%9A%E7%B1%BB/"><i class="fa-fw fa-solid fa-cogs"></i><span> 聚类</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-compass"></i><span> 贝叶斯</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 概率图模型</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%92%99%E7%89%B9%E5%8D%A1%E6%B4%9B%E6%8E%A8%E6%96%AD/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 蒙特卡罗推断</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E5%8F%98%E5%88%86%E6%8E%A8%E6%96%AD/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 变分推断</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%BF%91%E4%BC%BC%E8%B4%9D%E5%8F%B6%E6%96%AF%E8%AE%A1%E7%AE%97/"><i class="fa-fw fa-solid fa-cube"></i><span> 近似贝叶斯计算</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A8%A1%E5%9E%8B%E6%AF%94%E8%BE%83%E4%B8%8E%E9%80%89%E6%8B%A9/"><i class="fa-fw fa-solid fa-ghost"></i><span> 模型比较与选择</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%B4%9D%E5%8F%B6%E6%96%AF%E4%BC%98%E5%8C%96/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 贝叶斯优化</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-ghost"></i><span> 不确定性DL</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/BayesNN/%E6%A6%82%E8%A7%88"><i class="fa-fw fa-solid fa-cube"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E5%8D%95%E4%B8%80%E7%A1%AE%E5%AE%9A%E6%80%A7%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 单一确定性神经网络</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-brands fa-deezer"></i><span> 贝叶斯神经网络</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E6%B7%B1%E5%BA%A6%E9%9B%86%E6%88%90/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 深度集成</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E6%95%B0%E6%8D%AE%E5%A2%9E%E5%BC%BA/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 数据增强</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E5%AF%B9%E6%AF%94%E4%B8%8E%E8%AF%84%E6%B5%8B/"><i class="fa-fw fa-brands fa-deezer"></i><span> 对比与评测</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-map"></i><span> 空间统计</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/GeoAI/%E7%BB%BC%E8%BF%B0%E7%B1%BB/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%82%B9%E5%8F%82%E8%80%83%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-solid fa-map"></i><span> 点参考数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E9%9D%A2%E5%85%83%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 面元数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%82%B9%E6%A8%A1%E5%BC%8F%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 点模式数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%96%B9%E6%B3%95/"><i class="fa-fw fa-solid fa-cube"></i><span> 空间贝叶斯方法</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E5%8F%98%E7%B3%BB%E6%95%B0%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-ghost"></i><span> 空间变系数模型</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E7%BB%9F%E8%AE%A1%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-brands fa-deezer"></i><span> 空间统计深度学习</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E6%97%B6%E7%A9%BA%E7%BB%9F%E8%AE%A1%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-atlas"></i><span> 时空统计模型</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%B8%93%E9%A2%98/"><i class="fa-fw fa fa-anchor"></i><span> 大数据专题</span></a></li><li><a class="site-page child" href="/categories/GeoAI/GeoAI/"><i class="fa-fw fa-brands fa-codepen"></i><span> GeoAI</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-database"></i><span> 基础</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E9%AB%98%E7%AD%89%E6%95%B0%E5%AD%A6/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 高等数学</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E6%A6%82%E7%8E%87%E4%B8%8E%E7%BB%9F%E8%AE%A1/"><i class="fa-fw fa-brands fa-deezer"></i><span> 概率与统计</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E7%BA%BF%E4%BB%A3%E4%B8%8E%E7%9F%A9%E9%98%B5%E8%AE%BA/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 线代与矩阵论</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E6%9C%80%E4%BC%98%E5%8C%96%E7%90%86%E8%AE%BA/"><i class="fa-fw fa-brands fa-codepen"></i><span> 最优化理论</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E4%BF%A1%E6%81%AF%E8%AE%BA/"><i class="fa-fw fa-solid fa-cube"></i><span> 信息论</span></a></li><li><a class="site-page child" href="/categories/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-ghost"></i><span> 机器学习</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1/"><i class="fa-fw fa-solid fa-globe"></i><span> 知识图谱</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 自然语言处理</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E7%8E%87%E7%BC%96%E7%A8%8B/"><i class="fa-fw fas  fa-atlas"></i><span> 概率编程</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-book-open"></i><span> 书籍</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="https://xishansnow.github.io/BayesianAnalysiswithPython2nd/index.html"><i class="fa-fw fa-solid  fa-landmark-dome"></i><span> 《Bayesian Analysis with Python》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/BayesianModelingandComputationInPython/index.html"><i class="fa-fw fa-solid  fa-graduation-cap"></i><span> 《Bayesian Modeling and Computation in Python》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/ElementsOfStatisticalLearning/index.html"><i class="fa-fw fa-solid  fa-book-atlas"></i><span> 《统计学习精要（ESL）》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/spatialSTAT_CN/index.html"><i class="fa-fw fa-solid  fa-layer-group"></i><span> 《空间统计学》</span></a></li><li><a class="site-page child" target="_blank" rel="noopener" href="https://otexts.com/fppcn/index.html"><i class="fa-fw fa-solid  fa-cloud-sun-rain"></i><span> 《预测：方法与实践》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/MLAPP/index.html"><i class="fa-fw fa-solid  fa-robot"></i><span> 《机器学习的概率视角（MLAPP）》</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-compass"></i><span> 索引</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/archives/"><i class="fa-fw fa-solid fa-timeline"></i><span> 时间索引</span></a></li><li><a class="site-page child" href="/tags/"><i class="fa-fw fas fa-tags"></i><span> 标签索引</span></a></li><li><a class="site-page child" href="/categories/"><i class="fa-fw fas fa-folder-open"></i><span> 分类索引</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-link"></i><span> 其他</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/link/food/"><i class="fa-fw fas fa-utensils"></i><span> 美食博主</span></a></li><li><a class="site-page child" href="/link/photography"><i class="fa-fw fas fa-camera"></i><span> 摄影大神</span></a></li><li><a class="site-page child" href="/link/paper/"><i class="fa-fw fas fa-book-open"></i><span> 学术工具</span></a></li><li><a class="site-page child" href="/gallery/"><i class="fa-fw fas fa-images"></i><span> 摄影作品</span></a></li><li><a class="site-page child" href="/about/"><i class="fa-fw fas fa-heart"></i><span> 关于</span></a></li></ul></div></div><div id="toggle-menu"><a class="site-page"><i class="fas fa-bars fa-fw"></i></a></div></div></nav><div id="post-info"><h1 class="post-title">深度克里金法（DeepKriging）</h1><div id="post-meta"><div class="meta-firstline"><span class="post-meta-date"><i class="far fa-calendar-alt fa-fw post-meta-icon"></i><span class="post-meta-label">发表于</span><time class="post-meta-date-created" datetime="2023-01-11T02:00:00.000Z" title="发表于 2023-01-11 10:00:00">2023-01-11</time><span class="post-meta-separator">|</span><i class="fas fa-history fa-fw post-meta-icon"></i><span class="post-meta-label">更新于</span><time class="post-meta-date-updated" datetime="2023-02-08T15:07:23.235Z" title="更新于 2023-02-08 23:07:23">2023-02-08</time></span><span class="post-meta-categories"><span class="post-meta-separator">|</span><i class="fas fa-inbox fa-fw post-meta-icon"></i><a class="post-meta-categories" href="/categories/GeoAI/">GeoAI</a><i class="fas fa-angle-right post-meta-separator"></i><i class="fas fa-inbox fa-fw post-meta-icon"></i><a class="post-meta-categories" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E7%BB%9F%E8%AE%A1%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/">空间统计深度学习</a></span></div><div class="meta-secondline"><span class="post-meta-separator">|</span><span class="post-meta-wordcount"><i class="far fa-file-word fa-fw post-meta-icon"></i><span class="post-meta-label">字数总计:</span><span class="word-count">9.8k</span><span class="post-meta-separator">|</span><i class="far fa-clock fa-fw post-meta-icon"></i><span class="post-meta-label">阅读时长:</span><span>33分钟</span></span></div></div></div></header><main class="layout" id="content-inner"><div id="post"><article class="post-content" id="article-container"><script src='https://unpkg.com/tippy.js@2.0.2/dist/tippy.all.min.js'></script>
<script src='/js/attachTooltips.js'></script>
<link rel='stylesheet' href='/css/tippy.css'>
<script src="https://unpkg.com/tippy.js@2.0.2/dist/tippy.all.min.js"></script>
<script src="/js/attachTooltips.js"></script>
<link rel="stylesheet" href="/css/tippy.css">
<link rel="stylesheet" type="text/css" href="https://cdn.jsdelivr.net/hint.css/2.4.1/hint.min.css"><p>【摘 要】 在空间统计中，一个共同的目标是通过利用空间依赖性来预测未观察到的位置的空间过程的值。克里金法使用协方差函数提供最佳线性无偏预测器，并且通常与高斯过程相关联。然而，当考虑非高斯和分类数据的非线性预测时，克里金预测不再是最优的，并且相关的方差往往过于乐观。尽管深度神经网络 (DNN) 广泛用于一般分类和预测，但尚未对具有空间依赖性的数据进行深入研究。在这项工作中，我们提出了一种用于空间预测的新型 DNN 结构，其中通过添加具有基函数的空间坐标嵌入层来捕获空间依赖性。我们在理论和模拟研究中表明，所提出的 DeepKriging 方法与高斯情况下的克里金法有直接联系，并且对于非高斯和非平稳数据，它比克里金法具有多重优势，即它提供非线性预测，因此具有较小的近似误差，它不需要对协方差矩阵进行操作，因此可扩展到大型数据集，并且具有足够多的隐藏神经元，它提供了模型容量方面的最佳预测。我们进一步探讨了在不假设任何数据分布的情况下基于密度预测量化预测不确定性的可能性。最后，我们将该方法应用于预测整个美国大陆的 PM2.5 浓度。</p>
<p>【原 文】 Chen, W. et al. (2022) ‘DeepKriging: Spatially Dependent Deep Neural Networks for Spatial Prediction’. arXiv. Available at: <a target="_blank" rel="noopener" href="http://arxiv.org/abs/2007.11972">http://arxiv.org/abs/2007.11972</a> (Accessed: 15 November 2022).</p>
<h2 id="1-简介">1 简介</h2>
<p>空间预测是空间和时空统计的核心。它旨在通过考虑感兴趣区域的空间依赖性来预测未观察到的位置的空间过程的值。空间预测的传统应用是在地质和环境科学领域（Cressie，2015），它们已经扩展到其他领域，例如生物科学、计算机视觉、经济学和公共卫生（Anselin，2001；Austin，2002； Waller 和 Gotway，2004 年；Franchi 等人，2018 年）。</p>
<p>空间预测方法的主要集合基于最佳线性无偏预测 (BLUP)，也称为克里金法（Matheron，1963 年）。克里金预测是观测数据的加权平均，其中权重由随机过程的空间协方差函数或变异函数确定。在高斯假设下，克里格还提供了完整的预测分布。应用克里金法需要估计空间协方差函数，该函数通常被假定为平稳的。</p>
<p>然而，物理过程往往是非高斯和非平稳的。例如，风速和细颗粒物 (PM2.5) 暴露的数据呈正向右偏，有时呈重尾状（Hennessey Jr，1977 年；Adgate 等人，2002 年），并且空间协方差通常随时间变化空间，例如，城市与农村地区（Sampson 等人，2013 年）。对于某些参数化非高斯过程（Xu 和 Genton，2017 年；Rimstad 和 Omre，2014 年）和某些非平稳协方差结构（Fuentes，2002 年；Paciorek 和 Schervish，2004 年；Li 和 Sun），可以得出最佳线性预测, 2019)，但用于更一般空间过程的克里金法仍然是一个悬而未决的问题。克里金法的另一个缺点是它对于大型空间数据集的计算量太大，因为它涉及计算 N × N 协方差矩阵的求逆，其中 N 是观测位置的数量（Heaton 等人，2019），并且计算需要O(N 3) 时间和 O(N 2) 内存复杂度基于典型的 Cholesky 分解方法。</p>
<p>最近，深度学习或深度神经网络 (DNN) 已成为广泛应用的最强大的预测工具，特别是在计算机视觉和自然语言处理方面（LeCun 等人，2015 年）。 DNN 对于具有复杂特征（例如非线性和非平稳性）的预测是有效的，并且它们在使用 GPU 分析海量数据集时计算效率高（Najafabadi 等人，2015 年）。因此，有望将 DNN 应用于空间预测。然而，经典的 DNN 无法适当地结合空间依赖性。使用神经网络进行空间预测的应用程序通常仅将空间坐标作为特征（Cracknell 和 Reading，2014），这可能还不够。最近，据称卷积神经网络 (CNNs, Krizhevsky et al. 2012) 通过相关滤波器成功捕获了图像处理中的空间和时间依赖性。然而，该框架是为具有大特征空间的应用程序而设计的，并且通常需要大量训练标签作为基本事实，这不适用于许多空间预测问题，其中只有原位和稀疏观察可用。</p>
<p>为了解决上述问题，我们开发了一种有效的空间预测深度神经网络，它</p>
<ol>
<li>
<p>在空间预测中建立 DNN 和克里金法之间的直接联系； 2) 通过一组基函数对空间依赖性进行建模； 3）不需要矩阵运算，对大数据集可扩展</p>
</li>
<li>
<p>在协变量或通常在观察中提供非线性预测器； 5) 具有高斯过程表示，带来比单纯用坐标作为特征更灵活的空间协方差结构； 6) 适用于不同的数据类型，例如非高斯或非平稳数据； 7) 在不假设任何数据分布的情况下，通过预测密度函数潜在地测量不确定性。</p>
</li>
</ol>
<p>我们将我们的方法称为“DeepKriging”，目的是实现最佳空间预测，类似于 Kriging (Cressie, 1990) 的原始使用，但使用深度神经网络。我们还进行了模拟研究，并将我们的方法应用于美国大陆的 PM2.5 浓度数据，以显示 DeepKriging 与克里金法和其他朴素 DNN 方法相比的性能。我们论文的其余部分组织如下。第 2 节介绍了我们的 DeepKriging 方法的构造。第 3 节提供了它的理论特性。第 4 节介绍了一些模拟研究，以展示 DeepKriging 的性能。第 5 节应用 DeepKriging 预测美国的 PM2.5 浓度。第 6 节总结了主要结果并提出了未来工作的方向。</p>
<h2 id="2-方法论">2. 方法论</h2>
<p>2.1 空间预测中的深度学习</p>
<p>假设 z = {z(s1), . . . , z(sN )}T 是从实值空间过程 {Y (s) : s ∈ D}, D ⊆ Rd 在 N 个空间位置观察到的测量值。空间预测的目标是在未观察到的位置 s0 处找到真实过程的最佳预测因子 ̂ Y opt(s0)，作为 z 的函数。在决策理论中，Y opt(s0) 是预期损失函数或风险函数的最小值 (DeGroot, 2005)。那是，</p>
<p>Y opt(s0) = argmin ^ Y E{L( ̂ Y (s0), Y (s0))} = argmin ^ Y R( ̂ Y (s0), Y (s0)), (2.1)</p>
<p>其中 L(·,·) 是损失函数，R(·,·) 是风险函数。在均方误差 (MSE) 损失下，最优预测变量是 ̂ Y opt(s0) = E{Y (s0)|z}（如果它是有限的）。该预测变量具有多个良好的属性，例如在正则假设下的无偏性和渐近​​正态性（Lehmann 和 Casella，2006）。特别地，如果 Y(s0) 和 z 是联合高斯分布，则条件均值是 z 的线性组合；如果 Y(s0) 和 z 不是联合高斯分布，则通过高斯假设获得的条件均值仍然是最佳线性无偏预测 (BLUP)，称为克里金法。然而，如前所述，Kriging 预测器对于非高斯数据不是最优的，并且对于大数据量不可扩展</p>
<p>在这项工作中，我们使用深度学习通过神经网络的输出来近似（2.1）中的最优预测器 ̂ Y opt(s0)。最佳神经网络预测器由 f opt NN (s0) = argminfNNR{fNN(s0), Y (s0)} 给出，其中 fNN(·) ∈ F 可以是函数空间 F 中可由神经网络族表示的任何函数网络，f opt NN (·) 是 F 中最小化特定风险 R(·,·) 的最佳函数。神经网络的输入可以是相关协变量 x(s0) 和 s0 处的其他特征。通常，我们将 fNN(s; θ) 写成具有未知参数 θ 的参数模型，其中包括神经网络中的权重和偏差。请注意，最佳神经网络预测器 f opt NN (s0) 实际上是无法达到的，因为 Y (s0) 是未知的。在实践中，我们通过最小化训练集 z 上的经验损失函数来近似预测器（Goodfellow 等人，2016）；即，最终预测变量为 ̂ YNN(s0) = fNN(s0; ̂ θ)，其中</p>
<p>θ = argmin θ 1 N N ∑ n=1 L{fNN(sn; θ), z(sn)}</p>
<p>将经典神经网络的这种框架直接应用于空间预测至少在两个方面存在问题：经典 DNN 不考虑空间依赖性，空间预测通常具有有限的观察特征，而不是神经网络常见应用中的过多特征。特别地，假设空间过程 Y (s) 由 Y (s) = x(s)T β + ν(s) 建模，其中 x(s) ∈ RP 是 P 个已知协变量的向量过程， β 是系数向量，而 ν(s) 是空间相关的零均值随机过程，具有一般非平稳协方差函数： Cov(ν(s), ν(s’)) = C(s, s ').在神经网络中，我们通常假设 Y(s) 以特征 x(s) 为条件相互独立。然而，这个假设在空间预测中是不合理的，因为协变量 x(s) 只对 Y(s) 的平均结构有贡献，而 ν(s) 仍然是一个空间相关的过程。因此，除了 x(s) 之外，还需要更多特征来模拟应用神经网络时的空间依赖性。</p>
<p>为了考虑空间信息，最自然的方法是向特征添加 d 坐标（例如，经度和纬度），希望神经网络能够学习依赖项 ν(s) 作为 s 的函数（Cracknell和阅读，2014 年）。通过这样做，调整后的特征变为 xadj(s) = (x(s)T , s)T 。然而，这对扩大特征空间没有多大帮助，因为通常坐标的维度 d ≤ 3。此外，相关的神经网络可能效率不高，因为如果真实函数远非线性，则可能需要付出巨大的努力神经网络实现了很好的逼近。例如，在高斯假设和MSE损失下的最优预测器是Kriging预测器，它在x(s)上是线性的，但在坐标s上显然是非线性的；这是一种特殊情况，神经网络的自然结构可能不起作用。</p>
<p>神经网络的自然结构可能不起作用的情况。深入研究 Kriging 预测的形式可能会给我们一些关于将空间依赖性纳入 DNN 的适当方法的提示。假设 z 是从广义加性模型观察到的：Z(s) = Y (s) + ε(s)，其中 Y (s) = x(s)T β + ν(s) 如上定义，并且 ε(s ) 是一个白噪声过程，称为块金效应，具有零均值和方差 σ2(s)，由测量不准确和精细尺度可变性引起。 （通用）克里格预测是</p>
<p>YUK(s0) = x(s0)T ̂ β + c(s0)T Σ−1(z − X̂ β),</p>
<p>其中 X = (x(s1), . . . , x(sN ))T 是一个 N × P 矩阵，c(s0) = Cov(Z, Z(s0)), Σ = Cov(Z, ZT ),和 ̂ β = (XT Σ−1X)−1XT Σ−1z。空间相关性通过协方差向量 c(s0) 的线性函数纳入 ̂ YUK(s0)，但其系数 Σ−1(z − X̂ β) 未知。这促使我们使用一组已知的非线性函数作为 s 在特征中的嵌入来表征神经网络中的空间过程 ν(s)。这可以根据 Karhunen–Loe `ve (KL) 定理（阿德勒，2010 年）来完成，该定理确定 ν(s) 允许分解 ν(s) = ∑∞ k=1 wkφk(s)，其中wk 是成对不相关的随机变量，φk(s) 是 ν(s) 域中的成对正交基函数。因此，ν(s) 可以通过 s 的非线性基函数进行线性量化。</p>
<p>在实践中，ν(s) 的预测通常是基于给定任何正交基函数 φk(s) 的性质的截断 KL 展开，我们可以找到一些大整数 K，因此 ν(s) 可以近似为基函数的有限加权和，即 ̂ ν(s) = ∑K k=1 wkφk(s)。根据 KL 定理，对于逼近空间随机效应 ν(s)，基函数的形式不如基函数的数量重要。我们在补充材料的 S4.1 节中进行的额外模拟也可以支持这一点。可以使用多种类型的基函数，例如平滑样条基函数 (Wahba, 1990)、小波基函数 (Vidakovic, 2009) 和径向基函数 (Friedman et al., 2001)。通过添加一个具有足够大 K 的嵌入层，神经网络的宽度大大增加，从而使网络包含比单独使用坐标更多的空间信息。 Cheng 等人在推荐系统中使用了类似的想法。 (2016)。</p>
<p>2.2 DeepKriging：一个空间依赖的神经网络</p>
<p>在本节中，我们使用一个简单的 DNN 来说明我们的 DeepKriging 框架。我们的模型可以潜在地用于其他深度学习框架，例如卷积神经网络 (CNN) 和循环神经网络</p>
<p>首先，我们需要选择 K 和基函数的值来近似空间过程 ν(s)。我们采用了 Nychka 等人的想法。 (2015)，他开发了一种用于大型数据集空间预测的多分辨率模型。每个分辨率级别的径向基函数都是使用 Wendland 紧凑支持的相关函数构建的，节点排列在矩形网格上。特别地，在一定的分辨率水平下，令 {uj}, j = 1, . . . , m, 是点的矩形网格（或径向基函数术语中的节点），设 θ 为尺度参数。基函数由 φ∗ j (s) = φ(‖s − uj‖/θ) 给出，其中</p>
<p>φ(d) =          (1 − d)6(35d2 + 18d + 3)/3, d ∈ [0, 1] 0, otherwise.</p>
<p>因此，嵌入层在每个节点位置局部使用相互距离，这意味着空间模式在局部是位置不变的。因此，所提出的 DeepKriging 能够对空间非平稳性进行建模；正如我们将在 3.3 节中展示的那样，无限宽的 DeepKriging 网络的诱导协方差函数通常是非平稳的。根据 Nychka 等人，比例参数 θ 设置为相关结间距的 2.5 倍。 (2015)。每个更精细级别的网格增加两倍，并且基函数按比例缩放以具有恒定的重叠。特别地，在第 h 级中，节点数选择为 Kh = (9×2h−1+1)d，其中 d 是空间维度。对于海量数据集并获得 K ≥ N ，我们需要 H = 1 + dlog2( d √N /10)e 个级别。因此，例如对于四级模型，我们需要在一维空间中有 K = 10 + 19 + 37 + 73 = 139 个基函数，在二维空间中需要 K = 102 + 192 + 372 + 732 = 7159 个基函数。该方案很好地近似于标准协方差函数，并且还具有适应更复杂形状的灵活性。其他研究工作也采用了对海量空间数据集进行多分辨率逼近的方法；请参阅 Katzfuss (2017) 及其中的参考文献。</p>
<p>然后，对于任何坐标 s，我们计算 K 个基函数以获得嵌入向量 φ(s) = (φ1(s), . . . , φK(s))T 。基于 KL 展开，建议基函数正交。然后，令 xφ(s) = (x(s)T , φ(s)T )T 为长度 P + K 的嵌入输入，并将 L 层 DNN 指定为</p>
<p>u1(s) = W1xφ(s) + b1, a1(s) = ψ1(u1(s)); u2(s) = W2a1(s) + b2, a2(s) = ψ2(u2(s)); … uL(s) = WLaL−1(s) + bL, fDK(s) = ψL(uL(s))。</p>
<p>对于具有Nl个神经元的第l层，Wl是Nl×Nl−1的权重矩阵，bl是长度为Nl的偏置向量，al是长度为Nl的神经元向量，ψl(·)是激活函数。该神经网络的输出是 fDK(s)，它是权重和偏差的函数。令 θ 为未知权重和偏差的向量，并且 ̂ θ 为基于训练样本通过等式（2.2）进行的估计。在未观察到的位置 s0 处的最终 DeepKriging 预测定义为 ̂ YDK(s0) = fDK(s0; ̂ θ)。</p>
<p>我们的 DeepKriging 方法的一大优势是我们可以调整神经元的数量、激活函数和损失函数以适应不同的数据类型和模型解释。例如，为了预测回归问题中的连续变量，我们选择 NL = 1，ψL(·) 作为恒等函数，损失函数作为 MSE。图 1 提供了连续数据二维预测中 DeepKriging 结构的可视化。为了在分类问题中预测分类变量，我们选择 NL 为类别数，ψL(·) 为 softmax 函数，损失函数为交叉熵损失。对于隐藏层中的激活函数，我们默认选择整流线性单元（ReLU），这允许我们在 KL 扩展中保持线性关系，但添加一些去激活的神经元以选择最佳数量的基函数。 DeepKriging 结构还允许协变量效应随空间变化。</p>
<p>DeepKriging 网络结构的正则化包括添加 dropout 层以减轻过度拟合，添加批量归一化层以将协变量和基函数正则化到相同的尺度，以及由于紧支持而在基矩阵中存在的全零列移除基函数的结构。我们的 DeepKriging 网络结构的默认设置的详细信息包含在补充材料的 S2 节中。我们的 DeepKriging 方法的时间复杂度约为 O(Nneuron)，其中 Nneuron 是网络中神经元的数量。计算成本取决于网络的宽度和深度，计算是高度并行化的，可以通过 CPU 和 GPU 大大加速。</p>
<h2 id="3-DeepKriging-的理论性质">3 DeepKriging 的理论性质</h2>
<p>DeepKriging 使用深度学习提供了一种新颖的空间预测框架。它在几个方面不同于经典的克里金方法。首先，克里金预测是观测值的线性组合；相比之下，DeepKriging 预测通过模型训练通过权重和偏差与观察结果相关联，并且在观察结果中通常是非线性的（请参阅第 S3.1 节）。其次，DeepKriging 不假设具有特定协方差函数的高斯过程，而是通过基函数对空间依赖性进行建模。最后，与 Kriging 在未观察到的位置预测随机过程 Y (s) 不同，DeepKriging 使用确定性连续函数来近似过程。</p>
<p>在本节中，我们提供了 DeepKriging 的重要理论特性，包括 1）DeepKriging 和 Kriging 之间的潜在关系； 2) 与克里金法相比，深度克里金法在预测误差方面的准确性如何；和 3) 如何在 DeepKriging 框架中测量空间依赖性。这三个方面对于理解我们的 DeepKriging 方法至关重要，将在以下小节中分别进行说明。</p>
<p>3.1 DeepKriging 和基于 Kriging 的方法之间的联系</p>
<p>DeepKriging 与 Kriging 及其相关变体密切相关，可分为多分辨率过程 (Nychka et al., 2015; Kleiber and Nychka, 2015; Katzfuss, 2017) 和高斯预测过程 (Banerjee et al., 2008, 2010)，所有这些都导致空间预测可以被视为嵌入特征 xφ(s0) 的线性函数，因此可以通过 DeepKriging 进行近似。</p>
<p>一个例子是 Cressie 和 Johannesson (2008) 提出的固定秩克里金法 (FRK)，他们使用协方差矩阵的低秩近似之一来加速通用克里金法的计算。与 DeepKriging 类似，它们用 K 基函数表示空间随机效应 ν(s)，即 ν(s) = φ(s)T η，其中 η 是 K 维高斯随机向量，其中 Cov(η) = ΣK。他们还假设 Y (s) 的模型是 Y (s) = x(s)T β + ν(s) = x(s)T β + φ(s)T η。 Z(s) = Y (s) + ε(s) 的协方差矩阵，其中 ε(s) 是方差为 σ2(s) 的白噪声，由 Σ = ΦΣKΦT + V 给出，其中 Φ = {φ( s1), . . . , φ(sN )}T 是一个 N × K 基矩阵并且 V = diag{σ2(s1), . . . , σ2(sN )} 是一个 N × N 对角矩阵。作为 z 的线性函数的 FRK 预测由下式给出</p>
<p>YFRK(s0) = x(s0)T ̂ β + φ(s0)T ΣKΦT Σ−1(z − X̂ β)</p>
<p>其中 X = (x(s1), · · · , x(sN ))T 是 N ×P 矩阵，̂ β = (XT Σ−1X)−1XT Σ−1z，Σ−1 具有计算简单的形式其中涉及反转固定秩 K×K 正定矩阵 ΣK 和 N ×N 对角矩阵 V 。将等式 (3.5) 写为 ̂ YFRK(s0) = x(s0)T ̂ β + φ(s0)T ̂ α，其中 ̂ α= ΣKΦT Σ−1(z − X̂ β)，意味着 FRK 预测 ̂ YFRK (s0) 在 P 个协变量 x(s0) 和 K 个基函数 φ(s0) 中是线性的。当我们将所有激活函数设置为线性时，这是 DeepKriging 的一个特例。</p>
<p>FRK 通常选择 K 远小于 N 以加快大型数据集的计算速度。由于协方差 ΦΣKΦT 的阶数最多为 K，因此协方差矩阵的这种低阶近似可能无法捕捉到空间过程中的高频变化或小尺度空间依赖性 (Stein, 2014)。相比之下，对于 DeepKriging，K 需要足够大 (K &gt; N ) 才能很好地近似空间随机效应 ν(s)，以便我们的方法在预测中捕获更多空间信息。</p>
<p>通过在 FRK 中设置 K = N，我们可以看到等式（2.3）中的（通用）克里金预测也是 xφ(s0) = (x(s0)T , φ(s0)T )T 的线性函数。补充材料中的 S1.1 节提供了详细的证明。这个结果意味着具有任何协方差函数的克里金预测可以由嵌入特征 xφ(s0) 线性表示。从这个意义上说，DeepKriging 通过在预测中允许 xφ(s0) 的非线性函数来泛化 Kriging。</p>
<p>3.2 决策论中的DeepKriging</p>
<p>我们的 DeepKriging 预测程序通常遵循 Fan 等人所述的近似估计分解。 （2019）。令 F 为特定 DNN 模型可表达的函数空间，并且 ̂ YN (s0) 为基于 N 个观察位置的模型的最终预测。真实值 Y (s0) 和预测值 ̂ YN (s0) 之间总风险的以下分解暗示了三个错误来源：</p>
<p>R{Y (s0), ̂ YN (s0)} = R{Y (s0), ̂ Y opt F (s0)} ︸ ︷︷ ︸ approximation error +R{ ̂ Y opt F (s0), ̂ Y opt N (s0)} ︸ ︷︷ ︸ estimation error +R{ ̂ Y opt N (s0), ̂ YN (s0)} ︸ ︷︷ ︸ optimization error</p>
<p>近似误差与模型容量有关，定义为真实过程 Y (s0) 和最佳预测变量 ̂ Y opt F (s0) = argmin ̂ Y (s0)∈F R( ̂ Y (s0), Y (s0)) 作为 F 中的一个函数。估计误差定义为 ̂ Y opt N (s0) 和 ̂ Y opt F (s0) 之间的风险，其中 ̂ Y opt N (s0) = ̂ YN (s0; θ)，其中 θ = argmin θ 1 N ∑N n=1 L{ ̂ YN (sn; θ), z(sn)};这类误差受 F 复杂度的影响，与模型的泛化能力有关。优化误差是 ̂ Y opt N (s0) 和 ̂ YN (s0) 之间的经验风险。</p>
<p>式（2.3）中克里金预测的函数类FUK，可以看作是x(s0)和z的线性函数空间，形式为x(s0)T β+zT γ，而DeepKriging的函数类， FDK，是由（2.4）中描述的DNN生成的函数空间。通用逼近定理（Cs ́ aji (2001) 的定理 2.3.1）声称特征 xφ(s) 的每个连续函数，表示为 C(xφ)，可以用具有一个包含有限数量的隐藏神经元和任意激活函数的隐藏层。这表明具有单个隐藏层和有限损失函数的最优 DeepKriging 预测在 C(xφ) 中具有最大的模型容量，即 ̂ Y opt FDK (s0) = ̂ Y opt C(xφ)(s0)。此结果适用于任何类型的数据（即连续或离散）和任何类型的任务（即回归或分类）。因此，在最小化近似误差方面，最优 DeepKriging 预测比 Kriging 预测具有更大的能力，即 E{L( ̂ Y opt FDK(s0), Y (s0))} ≤ E{L( ̂ Y opt FUK (s0), Y (s0))}。补充材料中的 S1.2 节提供了详细证明。同样，最优的 DeepKriging 预测也比 FRK 预测具有更大的模型容量。 FRK 可以看作是具有包含有限数量神经元和线性激活函数的单个隐藏层的 DeepKriging。通过允许大量的基函数、多层、更灵活的激活函数和广泛的网络，DeepKriging 产生的非线性预测可以适当地捕捉空间过程中的空间依赖性。</p>
<p>3.3 作为高斯过程的 DeepKriging</p>
<p>Neal (1994) 表明单层全连接神经网络具有 i.i.d.在其参数（即权重和偏差）上的先验等同于无限网络宽度（即无限数量的隐藏神经元）限制下的高斯过程（GP）。后来，李等人。 (2017) 得出了无限宽的深度网络和 GP 之间的精确等价性。因此，与 GP 的类似对应关系也适用于我们的 DeepKriging 网络。</p>
<p>我们从具有包含 N1 个神经元的单个隐藏层的回归型 DeepKriging 模型开始。输入特征为 xφ(s) = (x(s)T , φ(s)T )T ∈ RP +K，输出为 ^ YDK(s) = b1 + ∑N1 j=1 w1 j a1 j ( s)，其中 a1 j (s) = ψ1(b0 j + ∑P +K i=1 w0 jix(i) φ (s))，其中 x(i) φ (s) 是 xφ 的第 i 个分量(s).权重 (w1 j , w0 ji) 和偏差 (b1, b0 j ) 是独立且随机抽取的，分别具有零均值和方差 σ2 w/N1 和 σ2 b 。因此，激活后的 a1 j 和 a1 j’ 对于 j 6= j’ 是独立的。此外，由于 ^ YDK(s) 是 i.i.d 项的和，根据中心极限定理，在无限宽度 N1 → ∞ 的极限下，^ YDK(s) 将服从高斯分布。同样，根据多维中心极限定理，{ ^ YDK(s1), ^ YDK(s2), · · · , ^ YDK(sn)} 的任何有限集合都将具有联合多元高斯分布，这正是全科医生的定义因此，我们得出结论，如果 N1 足够大，则 YDK 是具有零均值和协方差函数的 GP</p>
<p>C1(s, s’) = E{ ^ YDK(s) ^ YDK(s’)} = σ2 b + σ2 wE{a1 j (s)a1 j (s’)} = σ2 b + σ2 wC(s, s′),</p>
<p>其中 C(s, s’) 是通过对 w0, b0 的分布进行积分获得的，如 Neal (1994) 中所述。</p>
<p>对于更深层的 DeepKriging，可以根据 Lee 等人的方法以递归方式获得诱导协方差函数。 (2017):</p>
<p>Cl(s, s′) = σ2 b + σ2 wFψ(Cl−1(s, s′), Cl−1(s, s), Cl−1(s′, s′)),</p>
<p>其中 Fψ(·) 是一个确定性函数，仅取决于激活函数 ψ。可以执行一系列迭代计算以获得描述网络最终输出的 GP 的协方差 CL，^ YDK(s)。对于基本情况，C0(s, s′) = σ2 b + σ2 w{xφ(s)T xφ(s′)/(P + K)}。上述结果需要假设每一层都有无限多的隐藏神经元。然而，当权重和偏差的先验分布是高斯分布时，就不需要这个条件了。</p>
<p>对于某些激活函数，可以解析地计算等式（3.6）。最简单的情况发生在激活函数是恒等函数 ψl(x) = x 且不存在协变量效应时。那么 ^ YDK(s) 是基函数 φ(s) 的线性函数，即 ^ YDK(s) = b + wT φ(s)，其中 b 和 w 分别是偏差和权重的组合。在这种情况下，由 CL(s, s’) = σ2 b +σ2 wφ(s)T φ(s’) 给出 ^ YDK 的诱导协方差函数，这是空间协方差函数的基本近似。</p>
<p>在 ReLU 非线性的情况下，等式 (3.6) 具有众所周知的反余弦核的闭合形式（Cho 和 Saul，2009）： Cl(s, s’) = σ2 b +σ2 w 2π √Cl −1(s, s)Cl−1(s′, s′) {sin (θl−1 s,s′ ) + (π − θl−1 s,s′ ) cos (θl−1 s,s′ ) } ，其中 θl s,s’ = cos−1(Cl(s, s’)/√Cl(s, s)Cl(s’, s’))。当结果协方差函数的解析形式不存在时，它可以用数值计算，如 Lee 等人所述。 (2017)。</p>
<p>考虑具有单个隐藏层且没有协变量效应的回归型 DeepKriging 模型。可以证明，对于无限多个隐藏神经元，任意两个邻近位置的输出 ^ YDK(s) 的协方差函数具有以下形式</p>
<p>C(s, s′) = v(s) + v(s′) − c‖φ(s) − φ(s′)‖2,</p>
<p>其中 φ(s) 是位置 s 处的基向量，v(s) &gt; 0 与 s = s’ 时的方差相关，c 是缩放参数。证明在补充材料的 S1.3 节中提供。作为一种特殊情况，如果在特征中仅使用坐标，则‖φ(s) − φ(s’)‖2 = ‖s − s’‖2, v(s) = v(s’) = v因此 C(s, s′) = v − c‖s − s′‖2，其中包含的信息少于等式 (3.7) 中的信息。因此，DeepKriging 中的嵌入层带来了比简单使用坐标更灵活的空间协方差结构。</p>
<p>使用坐标。此外，我们可以展示 DeepKriging 诱导协方差函数如何逼近空间统计中的常见平稳协方差函数。令基函数为 φl(s) = k(s, ul) 基于某个核函数 k(·,·) 和节点 ul, l = 1, · · · , K。如果 ul 形成细网格覆盖空间域的结，然后</p>
<p>‖φ(s) − φ(s′)‖2 = K ∑ l=1 {k(s, ul) − k(s′, ul)}2 ≈ ∫ {k(s, u) − k(s′, u)}2du = ∫ k(s, u)2 + k(s′, u)2 − 2k(s, u)k(s′, u)du.</p>
<p>请注意，最后一项是协方差函数的核卷积逼近。 Higdon (2002) 表明，通过选择合适的核函数，我们可以基于核卷积逼近任何平稳的协方差函数。此外，DeepKriging 的诱导协方差函数也具有良好的物理解释。例如，DeepKriging 可以产生 Mate rn 协方差函数，该函数也常用于 Kriging，因为它与拉普拉斯类型的随机偏微分方程 (SPDE) 有关 (Whittle, 1954)。此外，DeepKriging 可以根据 Neal (1996) 中提供的 DNN 示例导出近似分数布朗运动的 GP。</p>
<h2 id="4-模拟研究">4.模拟研究</h2>
<p>4.1 一维高斯过程的 DeepKriging</p>
<p>4.2 二维非平稳数据上的 DeepKriging</p>
<h2 id="5-应用">5 应用</h2>
<p>5.1 预测 PM2.5 浓度的挑战</p>
<p>PM2.5，即小于2.5μm的细颗粒物，是一种有害的空气污染物。其不良反应与呼吸系统疾病(Peng et al., 2009)、心肌梗死(Peters et al., 2001)等多种疾病有关；参见世界卫生组织的评论（2013 年）。因此，获取 PM2.5 暴露的高分辨率地图以评估其影响至关重要。监测网络的测量值是给定时间和地点 PM2.5 浓度的最佳表征。然而，来自监测地点的数据通常分布稀疏，因此它们在空间和时间上与健康结果不一致。同时，众所周知，PM2.5 浓度与温度和相对湿度等气象条件相关（Jacob 和 Winner，2009），气象数据或数据产品通常易于访问，具有良好的空间覆盖和分辨率。因此，利用监测网络数据和其他气象数据插值 PM2.5 浓度一直是一个很有前途的研究领域（Di 等人，2016 年），其中空间预测起着核心作用。</p>
<p>PM2.5 浓度的建模和预测具有挑战性。首先，PM2.5浓度数据明显是非高斯分布的，经典的克里金法在这里不适用。其次，PM2.5监测站数据不规则、稀疏，但很多插值方法需要点阵数据。第三，更重要但更具挑战性的是了解高污染的风险并预测污染水平，如低、中、高；从统计学上讲，这两个问题分别与估计超过阈值的概率和分类问题有关。分位数回归和卷积神经网络已被用来克服上述一些问题（Reich 等人，2011 年；Porter 等人，2015 年；Di 等人，2016 年）。然而，处理所有上述任务的统一方法尚未得到充分开发。</p>
<p>5.2 数据和预处理</p>
<p>为了解决上述问题，我们将提出的 DeepKriging 方法应用于基于气象变量的 PM2.5 浓度空间预测。气象数据来自 NCEP 北美区域再分析 (NARR) 产品。再分析是一个代表大气状态的网格数据集，结合了从过去到现在的数值天气预报模型的观测和输出。根据观测，再分析数据通常用来表示大气的“真实状态”，因此我们将再分析数据作为协变量的“观测数据”。本研究总共使用了六个气象变量：1) 2 m 处的气温，2) 2 m 处的相对湿度，3) 累计总降水量，4) 表面压力，5) 风的 u 分量，以及 6) 10 m 处风的 v 分量。 NARR 产品的协变量是 2019 年 6 月 5 日的网格数据，空间分辨率约为 32 × 32 km，覆盖美国大陆，总共包含 7, 706 个网格单元。由于气象变量的单位不同，我们在实施模型之前使用最小-最大归一化来重新缩放数据。 PM2.5浓度日均数据来自841个监测站。由于来自 NARR 的坐标和来自站点的坐标不相同，并且一些站点彼此距离太近，我们保持 NARR 的空间分辨率并对同一网格单元中附近监测站的 PM2.5 测量值进行平均。匹配后保留604个网格单元用于模型训练，每个位置的PM2.5浓度值如图2(a)所示。我们的目标是预测其他 7, 706 − 604 = 7, 102 个位置的任何 s0 处的 PM2.5 浓度，这些位置未观察到 PM2.5 浓度，但协变量由再分析数据提供。</p>
<p>5.3 模型拟合及结果</p>
<p>我们的目标是预测未观察到的网格单元的 PM2.5 浓度值，其中提供了六个气象变量。我们使用 10 折交叉验证来验证 DeepKriging 的性能。出于比较目的，我们还显示了克里金法和具有六个协变量和坐标的基线 DNN 的结果。我们计算 MSE 和 MAE 作为验证标准，如表 1 的前两行所示，这意味着 DeepKriging 优于基线 DNN 和 Kriging。</p>
<p>为了评估 PM2.5 高污染的风险，我们可以使用 DeepKriging 进行空间数据分类。具体而言，我们将 PM2.5 浓度阈值设为 12.0 微克/立方米，这是 EPA 国家环境空气质量标准 (NAAQS) 日均值“良好”和“中等”水平之间的阈值（EPA，2012）。基于分类数据，我们可以通过假设 PM2.5 浓度的实际值未知，使用 DeepKriging 实现二元分类。与 Kriging 直接比较是不可行的，因为 Kriging 不适合二元分类。相反，我们使用克里金法预测连续的 PM2.5 浓度，然后通过将它们设为 12.0 μg/m3 的阈值来对预测进行分类。然后，我们使用 10 折交叉验证来显示分类精度，如表 1 最后一行所示。我们可以看到，在分类精度方面，DeepKriging 明显优于 Kriging 和基线 DNN。</p>
<p>基于模型拟合，我们可以进一步预测基于 NARR 数据的未观测位置的 PM2.5 浓度值、污染等级和高污染等级超过阈值 12 μg/m3 的风险。图 2(a) 显示了来自 AQS 数据库的原始 PM2.5 站点数据。图 2(b) 显示了 DeepKriging 预测的 PM2.5 浓度的平滑图。我们还提供分布预测（详细信息和算法包含在补充材料的第 S5 节中）以获得定义为 P{PM2.5 &gt; 12 μg/m3} 的预测风险，如图 2© 所示。该地图表明美国东部大片地区存在高 PM2.5 污染风险。我们进一步将结果与图 2(d) 中的 Kriging 预测进行了比较，这意味着 DeepKriging 比 Kriging 提供了更多的局部特征/模式。</p>
<h2 id="6-讨论">6 讨论</h2>
<p>在这项工作中，我们提出了一种使用深度神经网络的新空间预测模型，该模型通过一组基函数结合了空间依赖性。我们的方法不假设协方差函数或数据分布的参数形式，并且通常与非平稳性、非线性关系和非高斯数据兼容。可以使用补充材料第 S5 节中详述的分布预测方法，基于我们的 DeepKriging 框架提供不确定性量化。</p>
<p>经典克里金法将它们的预测视为观测值的线性组合，这阻碍了它们与多个机器学习框架的交互。自 1981 年以来，Matheron (1981) 就已知克里金法和径向基函数插值之间等价性的一些证据。然而，在没有现代机器学习工具的情况下，仅研究了线性组合和有限数量的径向基函数，这被视为对克里金法不太有利的选择 (Dubrule, 1983, 1984)。这项工作为具有大量基函数的空间预测中的深度学习提供了新的视角。我们已经证明，在我们的模拟和实际应用中，所提出的方法在理论上和数值上的许多方面都优于克里金法。例如，DeepKriging 对于大型数据集更具可扩展性，并且比 Kriging 适合更多的数据类型。 DeepKriging 还具有具有灵活空间协方差结构的 GP 表示，它可以通过评估相应的 GP 来对回归任务进行贝叶斯推理。更重要的是，所提出的 DeepKriging 框架连接了基于回归的预测和空间预测，因此可以应用许多其他机器学习算法。</p>
<p>在一般应用中，可能没有观察到新位置 s0 处的协变量。解决这个问题的一种有前途的方法是为观察的一个子集找到缺失协变量的真实值，然后训练机器学习算法来预测其余协变量的值（参见，例如，Imai 和 Khanna（ 2016)).然而，Fong 和 Tyler (2021) 表明，在不考虑预测误差的情况下插入这些预测会使回归分析出现偏差、不一致和过度自信。他们描述了避免这些不一致的程序。这种方法结合了新的样本拆分方案和一般矩量法 (GMM) 估计器，以生成高效且一致的估计器。总体而言，解决缺少协变量的问题并非易事：插入机器学习预测等直觉策略会导致偏差和不一致，而实现更复杂的方法（如 Fong 和 Tyler (2021) 中的方法）需要额外的假设（例如，排除限制条件）并增加计算负担。如果目标是同时预测响应和协变量，则可以开发 DeepKriging 的多变量版本。这些留作我们以后的工作。</p>
<p>补充材料</p>
<p>补充材料包含主要手稿中引用的详细信息，包括引理和定理的证明（第 S1 节）、DeepKriging 网络结构的设置（第 S2 节）、模拟研究的详细信息（第 S3 节）、其他模拟研究（ S4 节），分布预测和不确定性量化（S5 节），以及可重复研究的源代码和数据（S6 节）。</p>

    <style>
    #refplus, #refplus li{ 
        padding:0;
        margin:0;
        list-style:none;
    }；
    </style>
    <script src="https://unpkg.com/@popperjs/core@2"></script>
    <script src="https://unpkg.com/tippy.js@6"></script>
    <script>
    document.querySelectorAll(".refplus-num").forEach((ref) => {
        let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
        let refel = document.querySelector(refid);
        let refnum = refel.dataset.num;
        let ref_content = refel.innerText.replace(`[${refnum}]`,'');
        tippy(ref, {
            content: ref_content,
        });
    });
    </script>
    </article><div class="post-copyright"><div class="post-copyright__author"><span class="post-copyright-meta">文章作者: </span><span class="post-copyright-info"><a href="http://xishansnow.github.io">西山晴雪</a></span></div><div class="post-copyright__type"><span class="post-copyright-meta">文章链接: </span><span class="post-copyright-info"><a href="http://xishansnow.github.io/posts/3a9f5e9d.html">http://xishansnow.github.io/posts/3a9f5e9d.html</a></span></div><div class="post-copyright__notice"><span class="post-copyright-meta">版权声明: </span><span class="post-copyright-info">本博客所有文章除特别声明外，均采用 <a href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">CC BY-NC-SA 4.0</a> 许可协议。转载请注明来自 <a href="http://xishansnow.github.io" target="_blank">西山晴雪的知识笔记</a>！</span></div></div><div class="tag_share"><div class="post-meta__tag-list"><a class="post-meta__tags" href="/tags/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/">深度学习</a><a class="post-meta__tags" href="/tags/%E7%A9%BA%E9%97%B4%E7%BB%9F%E8%AE%A1/">空间统计</a></div><div class="post_share"><div class="social-share" data-image="/img/book_06.png" data-sites="facebook,twitter,wechat,weibo,qq"></div><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/butterfly-extsrc/sharejs/dist/css/share.min.css" media="print" onload="this.media='all'"><script src="https://cdn.jsdelivr.net/npm/butterfly-extsrc/sharejs/dist/js/social-share.min.js" defer></script></div></div><nav class="pagination-post" id="pagination"><div class="prev-post pull-left"><a href="/posts/27bbfe2b.html"><img class="prev-cover" src="/img/coffe_08.png" onerror="onerror=null;src='/img/404.jpg'" alt="cover of previous post"><div class="pagination-info"><div class="label">上一篇</div><div class="prev_info">深度高斯马尔可夫随机场</div></div></a></div><div class="next-post pull-right"><a href="/posts/70cfc1f6.html"><img class="next-cover" src="/img/book_08.png" onerror="onerror=null;src='/img/404.jpg'" alt="cover of next post"><div class="pagination-info"><div class="label">下一篇</div><div class="next_info">地统计学中的贝叶斯深度学习</div></div></a></div></nav><div class="relatedPosts"><div class="headline"><i class="fas fa-thumbs-up fa-fw"></i><span>相关推荐</span></div><div class="relatedPosts-list"><div><a href="/posts/74d0eccf.html" title="🔥  空间统计深度学习索引帖"><img class="cover" src="/img/coffe_07.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2023-02-09</div><div class="title">🔥  空间统计深度学习索引帖</div></div></a></div><div><a href="/posts/4c2ac315.html" title="深度神经网络和时空数据深度分层模型比较"><img class="cover" src="/img/coffe_03.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2022-12-06</div><div class="title">深度神经网络和时空数据深度分层模型比较</div></div></a></div><div><a href="/posts/c93c5021.html" title="空间数据和时空数据的统计深度学习"><img class="cover" src="/img/coffe_01.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2022-12-04</div><div class="title">空间数据和时空数据的统计深度学习</div></div></a></div><div><a href="/posts/70cfc1f6.html" title="地统计学中的贝叶斯深度学习"><img class="cover" src="/img/book_08.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2023-01-11</div><div class="title">地统计学中的贝叶斯深度学习</div></div></a></div><div><a href="/posts/4a5216eb.html" title="深度神经网络在大规模空间预测中的应用"><img class="cover" src="/img/coffe_07.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2023-02-09</div><div class="title">深度神经网络在大规模空间预测中的应用</div></div></a></div><div><a href="/posts/67c3f1d6.html" title="贝叶斯神经网络快速上手教程"><img class="cover" src="/img/005.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2021-03-14</div><div class="title">贝叶斯神经网络快速上手教程</div></div></a></div></div></div></div><div class="aside-content" id="aside-content"><div class="sticky_layout"><div class="card-widget" id="card-toc"><div class="item-headline"><i class="fas fa-stream"></i><span>目录</span><span class="toc-percentage"></span></div><div class="toc-content"><ol class="toc"><li class="toc-item toc-level-2"><a class="toc-link" href="#1-%E7%AE%80%E4%BB%8B"><span class="toc-text">1 简介</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#2-%E6%96%B9%E6%B3%95%E8%AE%BA"><span class="toc-text">2. 方法论</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#3-DeepKriging-%E7%9A%84%E7%90%86%E8%AE%BA%E6%80%A7%E8%B4%A8"><span class="toc-text">3 DeepKriging 的理论性质</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#4-%E6%A8%A1%E6%8B%9F%E7%A0%94%E7%A9%B6"><span class="toc-text">4.模拟研究</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#5-%E5%BA%94%E7%94%A8"><span class="toc-text">5 应用</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#6-%E8%AE%A8%E8%AE%BA"><span class="toc-text">6 讨论</span></a></li></ol></div></div></div></div></main><footer id="footer"><div id="footer-wrap"><div class="copyright">&copy;2020 - 2023 By 西山晴雪</div><div class="framework-info"><span>框架 </span><a target="_blank" rel="noopener" href="https://hexo.io">Hexo</a><span class="footer-separator">|</span><span>主题 </span><a target="_blank" rel="noopener" href="https://github.com/jerryc127/hexo-theme-butterfly">Butterfly</a></div></div></footer></div><div id="rightside"><div id="rightside-config-hide"><button id="readmode" type="button" title="阅读模式"><i class="fas fa-book-open"></i></button><button id="translateLink" type="button" title="简繁转换">繁</button><button id="darkmode" type="button" title="浅色和深色模式转换"><i class="fas fa-adjust"></i></button><button id="hide-aside-btn" type="button" title="单栏和双栏切换"><i class="fas fa-arrows-alt-h"></i></button></div><div id="rightside-config-show"><button id="rightside_config" type="button" title="设置"><i class="fas fa-cog fa-spin"></i></button><button class="close" id="mobile-toc-button" type="button" title="目录"><i class="fas fa-list-ul"></i></button><button id="go-up" type="button" title="回到顶部"><i class="fas fa-arrow-up"></i></button></div></div><div id="algolia-search"><div class="search-dialog"><nav class="search-nav"><span class="search-dialog-title">搜索</span><button class="search-close-button"><i class="fas fa-times"></i></button></nav><div class="search-wrap"><div id="algolia-search-input"></div><hr/><div id="algolia-search-results"><div id="algolia-hits"></div><div id="algolia-pagination"></div><div id="algolia-info"><div class="algolia-stats"></div><div class="algolia-poweredBy"></div></div></div></div></div><div id="search-mask"></div></div><div><script src="/js/utils.js"></script><script src="/js/main.js"></script><script src="/js/tw_cn.js"></script><script src="https://cdn.jsdelivr.net/npm/@fancyapps/ui/dist/fancybox.umd.min.js"></script><script>function panguFn () {
  if (typeof pangu === 'object') pangu.autoSpacingPage()
  else {
    getScript('https://cdn.jsdelivr.net/npm/pangu/dist/browser/pangu.min.js')
      .then(() => {
        pangu.autoSpacingPage()
      })
  }
}

function panguInit () {
  if (true){
    GLOBAL_CONFIG_SITE.isPost && panguFn()
  } else {
    panguFn()
  }
}

document.addEventListener('DOMContentLoaded', panguInit)</script><script src="https://cdn.jsdelivr.net/npm/algoliasearch/dist/algoliasearch-lite.umd.min.js"></script><script src="https://cdn.jsdelivr.net/npm/instantsearch.js/dist/instantsearch.production.min.js"></script><script src="/js/search/algolia.js"></script><script>var preloader = {
  endLoading: () => {
    document.body.style.overflow = 'auto';
    document.getElementById('loading-box').classList.add("loaded")
  },
  initLoading: () => {
    document.body.style.overflow = '';
    document.getElementById('loading-box').classList.remove("loaded")

  }
}
window.addEventListener('load',preloader.endLoading())</script><div class="js-pjax"><link rel="stylesheet" type="text/css" href="https://cdn.jsdelivr.net/npm/katex/dist/katex.min.css"><script src="https://cdn.jsdelivr.net/npm/katex/dist/contrib/copy-tex.min.js"></script><script>(() => {
  document.querySelectorAll('#article-container span.katex-display').forEach(item => {
    btf.wrap(item, 'div', { class: 'katex-wrap'})
  })
})()</script><script>(() => {
  const $mermaidWrap = document.querySelectorAll('#article-container .mermaid-wrap')
  if ($mermaidWrap.length) {
    window.runMermaid = () => {
      window.loadMermaid = true
      const theme = document.documentElement.getAttribute('data-theme') === 'dark' ? '' : ''

      Array.from($mermaidWrap).forEach((item, index) => {
        const mermaidSrc = item.firstElementChild
        const mermaidThemeConfig = '%%{init:{ \'theme\':\'' + theme + '\'}}%%\n'
        const mermaidID = 'mermaid-' + index
        const mermaidDefinition = mermaidThemeConfig + mermaidSrc.textContent
        mermaid.mermaidAPI.render(mermaidID, mermaidDefinition, (svgCode) => {
          mermaidSrc.insertAdjacentHTML('afterend', svgCode)
        })
      })
    }

    const loadMermaid = () => {
      window.loadMermaid ? runMermaid() : getScript('https://cdn.jsdelivr.net/npm/mermaid/dist/mermaid.min.js').then(runMermaid)
    }

    window.pjax ? loadMermaid() : document.addEventListener('DOMContentLoaded', loadMermaid)
  }
})()</script></div><script id="canvas_nest" defer="defer" color="0,0,255" opacity="0.7" zIndex="-1" count="99" mobile="false" src="https://cdn.jsdelivr.net/npm/butterfly-extsrc/dist/canvas-nest.min.js"></script><script src="https://cdn.jsdelivr.net/npm/butterfly-extsrc/dist/activate-power-mode.min.js"></script><script>POWERMODE.colorful = true;
POWERMODE.shake = true;
POWERMODE.mobile = false;
document.body.addEventListener('input', POWERMODE);
</script><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/aplayer/dist/APlayer.min.css" media="print" onload="this.media='all'"><script src="https://cdn.jsdelivr.net/npm/aplayer/dist/APlayer.min.js"></script><script src="https://cdn.jsdelivr.net/npm/butterfly-extsrc/metingjs/dist/Meting.min.js"></script></div></body></html>